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Построение классификаторов на основе 
разделяющих поверхностей 


В статье рассматривается проблема построения полиномиальной разделяющей гиперповерхности для 
задачи классификации двух классов изображений. Предлагается итерационный метод, позволяющий 
получать разделяющие гиперповерхности с учетом особенностей расположения обучающих объектов 
на границе между классами. Метод основан на взвешивании обучающих объектов в зависимости от 
их удалённости от межклассовой границы. 


Введение 


Почти все объекты, которые в практических задачах необходимо обнаружить 
на изображениях, обладают внутриклассовой изменчивостью. Такая изменчивость 
может быть связана с различными факторами как собственными свойствами 
объекта, так и факторами среды, в которой происходило получение его изображения 
[1-4]. Среди последних два основных фактора находят отражение в таких харак- 
теристиках изображения, как яркость и контрастность. 

Яркость характеризуется средней яркостью изображения, а контрастность — 
средним квадратическим разбросом яркости. Вследствие необходимости инвариантной 
к ним классификации обычно прибегают к нормированию сопоставляемых 
изображений таким образом, чтобы средняя яркость равнялась нулю, а модуль — 
единице. В этом пространстве все изображения фиксированных размеров М =\хВ 
лежат на М-мерной сфере с центром в точке (0,0,...,0). Причем изображения, 
принадлежащие объектам, занимают некоторую компактную область, которую и 
необходимо отделить от всех остальных изображений. 

Для описанного вида расположения объектов в пространстве признаков удобно 
использовать полиномиальные разделяющие функции 2-го порядка и выше. Так как 
пространство признаков имеет большую размерность, равную размеру самого изоб- 
ражения объекта, и даже при переходе в пространство главных компонент 
размерность пространства, как правило, больше 20, то для качественного описания 
положения объектов в пространстве признаков обучающей последовательности 
объемом даже в несколько сотен тысяч недостаточно. В этом случае велика вероят- 
ность при использовании, например, градиентных методов нахождения минимума 
функции ошибки прийти к локальному минимуму, что затрудняет получение 
точного решения задачи классификации. Кроме этого, решение зависит от начально- 
го приближения классифицирующей функции. В описанных условиях целесообразно 
получить приближенный вид классифицирующей функции, основываясь на ее значе- 
нии, например, в виде решающего правила, рассчитанного методом наименьших 


«Штучний 1нтелект» 22008 65 


Мурыгин К.В. 


квадратов. После этого уже с помощью градиентных методов выполнить подстройку 
коэффициентов разделяющей функции минимизацией ошибки ложной тревоги при 
заданном ограничении на ошибку пропуска цели. 

Целью данной работы является разработка метода получения приближенной 
разделяющей поверхности для классификации двух классов, основанного на взвешен- 
ном учете объектов в зависимости от их положения относительно межклассовой 
границы. 


Приближенная классифицирующая функция 


Расчет приближенной классифицирующей функции в пространстве признаков 
размерности п для двух классов, обозначенных индексами «о» и «п» по обучающей 
последовательности, содержащей М,-образов 1-го класса и М, -образов 2-го класса, 
основан на минимизации следующего функционала: 

Е | 2 1 5 2 
Ч(а,,-.а„) => ,а)-1) + "а 1) (1) 


о 1= п 1= 
т(т>п) 


где / (7’.а ) = 2: а, Х‚ — классифицирующая функция, такая, что для первого клас- 
К=1 


Ш = 


са Ё 1”, а)= Т, а для второго — Ё [2 ‚а)= —1!. Таким образом, геометрическое место 
точек Ё (',=)=0 определяет границу между классами. Приведенный функционал 
соответствует методу наименьших квадратов для определения функции предпоч- 
тения [5]; Хх, - координаты образа 1 в спрямляющем пространстве размерности 
т>п, равной числу коэффициентов разделяющей функции. Если классифици- 
рующая функция Ебе,а) имеет К-й порядок относительно исходных признаков 


х,,...х, И представляет собой полный полином, то размер спрямляющего прост- 
К 
(п+1) 
ранства т будет равен т = = Е 
Оха 
Минимизируя функционал ‘Ч(а,,...а„) из условия вы) 0, получим 
3 


систему линейных уравнений 


у Е А а: 
д, ХЕХ НЕХ м ее - х Ух, И: 


о 1= п 1 о 1= п 1= 


или в матричном виде Аа=В. 


Найденный с помощью такой минимизации приблизительный вид разделяющей 
функции обладает существенным недостатком, который заключается в зависимости 
формы классифицирующей гиперповерхности от плотности распределения обучаю- 
щих объектов вдали от границы между классами. Практически всегда плотность 
объектов классов вдали от границы значительно больше, чем на границе, как 
правило, разреженной, что и приводит к несоответствию полученной разделяющей 
функции действительной границе между классами. Такое несоответствие кроме 
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ухудшения показателей системы обнаружения относительно ошибок первого и 
второго рода на практике часто приводит к зависимости качества решения задачи 
классификации от условий применения системы. Последнее может быть вызвано 
неравномерным составом обучающих объектов, что почти всегда имеет место при 
рассмотрении базы данных изображений. 


Классифицирующая функция на основе взвешивания 
обучающих объектов 


Для повышения качества нахождения границы в виде разделяющей гиперпо- 
верхности необходимо учитывать объекты, близкие к границе в большей степени, 
чем отдаленные от нее. Для этого удобно выполнить взвешивание объектов в 
обучающей последовательности. Учитывая, что в рассматриваемой постановке гра- 
ница задается выражением Ё (',а)=0, для обеспечения быстрого спада влияния 


объектов при удалении от границы можно воспользоваться экспоненциальной 
весовой функцией вида: 
СЕР Е 
М\(Е)=е “ ИЛИ \(Е)=е а, 
где о и п - параметры, регулирующие скорость спада функции при отдалении от 
нулевого значения. 
С учетом введения весовых функций и соответствующей перенормировки 


функционал (1) примет вид: 


анна ми) мета}. © 
>\ Е) Е >) = 


Полученный функционал при переходе к системе уравнений 
ОЧ(а а 0 
да, 


] 
приводит уже не к линейной системе, как в предыдущем случае, а к более сложной 
нелинейной зависимости, которая в матричной форме имеет вид 
А(ай = (8). 
Для получения решения системы можно воспользоваться итеративной процедурой 
= -1(= \-[= 
ан =А (в, 8. ), 


используя в качестве нулевого приближения а, решение, дающее минимум 


исходного функционала (1), полученного для невзвешенного случая. Теоретический 
вопрос о сходимости приведенной итеративной процедуры к точному решению пока 
еще остается открытым, однако на практике выявлено, что получаемые решения 
сходятся достаточно быстро. Как правило, проведя 10-20 итераций можно 
гарантировать получение 


У (ета!) <==0,001. 
11 


Результаты работы метода для двумерного случая приведены на рис. 1. 
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и 
Епогз: С1а$$1 аз азз2 № - 2 ром (2.4%) Етогз: (18331 аз Чазз2 - Оромв [0.0%] 
Саз$2 Е] аз С1аз$1 - Ороё [0.0] Са3$2 аз С1аз$1 - Оромб [9.0%] 

а) 6) 


Еногз: Саз$1 аз (азз2 8 - Брошмё [3.0%] Епогз: С1а$$1 аз [1аз$2 ВЯ - Оромв [0.0] 
Саз3;2 м аз Саз$1 - 2рошё [1.2%] С1аз$2 88] аз; Саз$1 - Орошё [0.0%] 
в) г) 


Рисунок 1 — Результаты определения границы между классами в двумерном случае: 
а) ив) — решения, полученные с помощью минимизации функционала (1); 
б) иг) — решения, полученные на основе взвешенного функционала (2) 


Полученные описанным методом решения позволяют сформировать разделяющую 
функцию 
5 [7(7,а)>0,7'е0,, 
ва) ИР, 
1; ‚а)< 0,7 ЕО,, 
не удовлетворяющую пока выдвинутым требованиям допустимой ошибки пропуска цели. 
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Если максимальная допустимая ошибка пропуска цели задана параметром Р°, 


то удовлетворить требованиям можно установкой некоторого порога ГП° на значение 
разделяющей функции: 


в(е.а)- Др’. а)> п", 1’ ео, 

°’ |у(р,а)<п, д’ во,’ 
при котором доля пропусков объекта классификации по обучающей выборке будет 
меньше либо равна Р°. В этом случае разделяющая функция Ё (а ‚ задаваемая 


параметрами а, просто подвергается пространственному сдвигу. Более качествен- 
ным методом учета требуемого ограничения на ошибку пропуска цели является 
рассмотрение полученной разделяющей функции как начальной при проведении 
итеративной процедуры минимизации ошибок ложной тревоги при заданном 
ограничении на ошибку пропуска цели. Такая процедура может быть выполнена 
любым численным методом поиска экстремума функций. 


Выводы 


Предложенный итерационный метод дает возможность получать разделяющие 
гиперповерхности с учетом особенностей расположения обучающих объектов на 
границе между классами. Это позволяет более точно определять границу между 
классами в случае, если вблизи точной границы содержится относительно 
небольшое число обучающих объектов. Метод может использоваться как метод 
предварительного обучения, если в качестве исходной ставится задача минимизации 
ошибки ложной тревоги при заданном ограничении на ошибку пропуска цели, что 
часто необходимо при решении задач обнаружения объектов. 
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м!ж класами. Метод заснований на зважуванн! навчальних об’ект!в у залежност! в1д в1ддалення вд 
границ! м!ж класами. 


К.Г. Мигуят 

Са$5Шет$ СопзгисНоп Вазе4 оп Зерагае Нурег Зи! Расез 

'ТБе рарег 15 4еусе4 ю фе рго ет о# сопугасйоп оЁро[упопиа| зерагайе зигРасез ог Фе {азК оЁ \мо-с1аз5 
плазез с1а5$1Исайоп. Г 15 ргорозе4 ап Иегайоп плефо4 фа ргоу14е {0 се Фе соеЁЙслет5 оЁ зерагайе Бурег 
зигасез Базе оп {аКшх шю ассоцп{ оЁ ресиПагиу оЁ Фе 1осайоп оЁ ]еагите ехатр!ез оп фе Боипдагу 
Бекмееп с1а55ез. Тре тео4 1$ Базе4 оп фе \’е1еБ ип о# [еаглте ехатр!ез дерепа те оп Из @5апсе НЙот 
фе Боипдагу Бебмееп с1а55е5. 


Статья поступила в редакцию 21.04.2008. 


«Штучний 1нтелект» 22008 69 


